Rất nhiều phiên bản của Yak-28 đã được sản xuất. Đầu tiên là 3 mẫu có tên ký hiệu của NATO là 'Brewer-A', 'Brewer-B', và 'Brewer-C', là những máy bay ném bom chiến thuật, với phần ghế ngồi ở mũi cho sĩ quan hoa tiêu kiêm điều khiển vũ khí, nó có thể mang 3.000 kg (6.600 lb) vũ khí, và một khẩu pháo (lúc đầu là pháo 23 mm NR-23, sau đó được thay thế bằng GSh-23L), ở cánh có các giá treo vũ khí để mang thêm bom hoặc tên lửa chùm. 2 mẫu 'Brewer-A' và 'Brewer-B' không được sản xuất hàng loạt với số lượng lớn, và mẫu được sản xuất hàng loạt đầu tiên là Yak-28B ('Brewer-C'). Nó được trang bị loại radar đặc biệt là RBP-3.

Vào năm 1961, Yak-28B được nâng cấp thành Yak-28L, với radar với có hệ thống hỗ trợ ném bom 'Lotos', và vào năm 1962 nó được thay thế bởi Yak-28I, với radar 'Initiativa'. Động cơ được thay thế bởi loại R-11AF2-300 với lực đẩy 61 kN or 13.700 lbf).

Một vài chiếc Yak-28B được nâng cấp với radar 'Initiativa' và có tên gọi là Yak-28BI. Một số Yak-28L sau đó được cải tạo để làm nhiệm vụ giám sát sự ô nhiễm phóng xạ và có tên gọi là Yak-28RR.

Yak-28R (NATO 'Brewer-D') là phiên bản chuyên dụng để trinh sát, được thêm vào radar dò tìm.

Yak-28PP (NATO 'Brewer-E') được cải tạo từ 'Brewer-C' được trang bị để tác chiến điện tử/đối phó điện tử. Các giá treo ở cánh có thể được dùng để treo thùng nhiên liệu phụ hoặc chùm rốc két. Những chiếc Yak-28PP đầu tiên có thể giữ lại pháo, nhưng sau đó đã bị loại bỏ.

Yak-28U (NATO 'Maestro') là phiên bản huấn luyện với một buồng lái dành cho giáo viên bên cạnh buồng lái tiêu chuẩn.

Một phiên bản máy bay tiêm kích đánh chặn tầm xa cũng được chế tạo, Yak-28P (NATO 'Firebar'), nó được phát triển vào những năm 1965-1966. Nó bỏ qua khoang chứa vũ khí trong thân để tăng khả năng mang nhiên liệu, và thêm vào radar đánh chặn 'Oriol-D', có khả năng mang tên lửa không đối không R-98 (AA-3 'Anab'). Các khẩu pháo cũng bị loại bỏ.